iT邦幫忙

2023 iThome 鐵人賽

DAY 2
0
AI & Data

30天零基礎學習網路爬蟲系列 第 2

什麼是網路爬蟲?

  • 分享至 

  • xImage
  •  

網路爬蟲(Web Crawler 或 Web Scraping),也可以叫它網路資料擷取(Web Data Extraction),是一個透過程式自動抓取網站資料的過程,並且將抓取後的資料整理成有用的資訊。

我們生活在一個大數據的時代下,隨便上網google想要尋找的資料,都能跑出成千上萬筆資料,如果只有簡單的幾筆資料我們可以慢慢整理出有用的資訊,但是當遇到太多的資料時,根本不可能逐筆逐筆的閱讀,所以使用網路爬蟲的方法,就能幫助我們快速的從網站中取出非表格或結構不佳的資料,並且轉換成可以使用的結構化資料,像是轉換成資料庫、Excel試算表、CSV檔案。

網路爬蟲的應用

  • 想要快速了解流行趨勢時,可以透過網路爬蟲到Facebook、Instagram等等社群網站,取得使用者的評論或熱門的討論話題。
  • 找工作的人可以在小雞打工、1111人力銀行等等求職網站找尋適合自己的工作,可以使用網路爬蟲得到關鍵訊息,快速找到屬於自己的職缺,讓你事半功倍。
  • 在寒暑假旅遊季時,要比價才能找到CP值最高的商品、飯店、機票等等,但要一個一個找的話實在是太累人了,所以如果透過網路爬蟲就能快速的爬取到所有資訊。

上一篇
前言
下一篇
認識瀏覽器
系列文
30天零基礎學習網路爬蟲30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言